Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
缺乏对深度学习系统的洞察力阻碍了他们的系统设计。在科学和工程学中，建模是一种用于了解内部过程不透明的复杂系统的方法。建模用更简单的代理代替复杂的系统，该系统更适合解释。从中汲取灵感，我们使用高斯流程为神经网络构建了一类代理模型。我们没有从神经网络的某些限制案例中得出内核，而是从经验上从神经网络的自然主义行为中学习了高斯过程的内核。我们首先通过两项案例研究评估我们的方法，灵感来自先前对神经网络行为的理论研究，在这些案例研究中，我们捕获了学习低频的神经网络偏好，并确定了深层神经网络中的病理行为。在进一步的实践案例研究中，我们使用学识渊博的内核来预测神经网络的泛化特性。
translated by 谷歌翻译
Traditionally, data analysis and theory have been viewed as separate disciplines, each feeding into fundamentally different types of models. Modern deep learning technology is beginning to unify these two disciplines and will produce a new class of predictively powerful space weather models that combine the physical insights gained by data and theory. We call on NASA to invest in the research and infrastructure necessary for the heliophysics' community to take advantage of these advances.
translated by 谷歌翻译
Light is a complex-valued field. The intensity and phase of the field are affected by imaged objects. However, imaging sensors measure only real-valued non-negative intensities. This results in a nonlinear relation between the measurements and the unknown imaged objects. Moreover, the sensor readouts are corrupted by Poissonian-distributed photon noise. In this work, we seek the most probable object (or clear image), given noisy measurements, that is, maximizing the a-posteriori probability of the sought variables. Hence, we generalize annealed Langevin dynamics, tackling fundamental challenges in optical imaging, including phase recovery and Poisson (photon) denoising. We leverage deep neural networks, not for explicit recovery of the imaged object, but as an approximate gradient for a prior term. We show results on empirical data, acquired by a real experiment. We further show results of simulations.
translated by 谷歌翻译
The Hamiltonian of an isolated quantum mechanical system determines its dynamics and physical behaviour. This study investigates the possibility of learning and utilising a system's Hamiltonian and its variational thermal state estimation for data analysis techniques. For this purpose, we employ the method of Quantum Hamiltonian-Based Models for the generative modelling of simulated Large Hadron Collider data and demonstrate the representability of such data as a mixed state. In a further step, we use the learned Hamiltonian for anomaly detection, showing that different sample types can form distinct dynamical behaviours once treated as a quantum many-body system. We exploit these characteristics to quantify the difference between sample types. Our findings show that the methodologies designed for field theory computations can be utilised in machine learning applications to employ theoretical approaches in data analysis techniques.
translated by 谷歌翻译
个性化的纵向疾病评估对于快速诊断，适当管理和最佳调整多发性硬化症（MS）的治疗策略至关重要。这对于识别特殊主体特异性疾病特征也很重要。在这里，我们设计了一种新型的纵向模型，以使用可能包含缺失值的传感器数据以自动化方式绘制单个疾病轨迹。首先，我们使用在智能手机上管理的基于传感器的评估来收集与步态和平衡有关的数字测量以及上肢功能。接下来，我们通过插补对待缺失的数据。然后，我们通过使用广义估计方程来发现MS的潜在标记。随后，从多个培训数据集中学到的参数被结合起来形成一个简单的，统一的纵向预测模型，以预测MS在先前看不见的MS的人中随着时间的推移。为了减轻严重疾病得分的个体的潜在低估，最终模型结合了第一天的数据。结果表明，所提出的模型有望实现个性化的纵向MS评估。他们还表明，与步态和平衡以及上肢功能有关的功能（从基于传感器的评估中远程收集）可能是预测MS随时间推移的有用数字标记。
translated by 谷歌翻译
在本文中，我们提出了一条基于截短的签名距离函数（TSDF）体积的接触点检测的新型抓紧管道，以实现闭环7度自由度（7-DOF）在杂物环境上抓住。我们方法的关键方面是1）提议的管道以多视图融合，接触点采样和评估以及碰撞检查，可提供可靠且无碰撞的7-DOF抓手姿势，并带有真实的碰撞 - 时间性能；2）基于接触的姿势表示有效地消除了基于正常方法的歧义，从而提供了更精确和灵活的解决方案。广泛的模拟和实体机器人实验表明，在模拟和物理场景中，就掌握成功率而言，提出的管道可以选择更多的反物和稳定的抓握姿势，并优于基于正常的基线。
translated by 谷歌翻译
通用数据模型解决了标准化电子健康记录（EHR）数据的许多挑战，但无法将其集成深度表型所需的资源。开放的生物学和生物医学本体论（OBO）铸造本体论提供了可用于生物学知识的语义计算表示，并能够整合多种生物医学数据。但是，将EHR数据映射到OBO Foundry本体论需要大量的手动策展和域专业知识。我们介绍了一个框架，用于将观察性医学成果合作伙伴关系（OMOP）标准词汇介绍给OBO铸造本体。使用此框架，我们制作了92,367条条件，8,615种药物成分和10,673个测量结果的映射。域专家验证了映射准确性，并且在24家医院进行检查时，映射覆盖了99％的条件和药物成分和68％的测量结果。最后，我们证明OMOP2OBO映射可以帮助系统地识别可能受益于基因检测的未诊断罕见病患者。
translated by 谷歌翻译
估计不确定性是进行HEP中科学测量的核心：如果没有估计其不确定性，测量是无用的。不确定性量化（UQ）的目的是与这个问题密不可分的：“我们如何在身体和统计上解释这些不确定性？”这个问题的答案不仅取决于我们要执行的计算任务，还取决于我们用于该任务的方法。对于HEP中的人工智能（AI）应用，在几个领域中，可解释的UQ方法至关重要，包括推理，仿真和控制/决策。这些领域中的每个领域都有一些方法，但尚未被证明像当前在物理学中使用的更传统的方法一样值得信赖（例如，非AI经常主义者和贝叶斯方法）。阐明上面的问题需要更多地了解AI系统的相互作用和不确定性量化。我们简要讨论每个领域的现有方法，并将其与HEP跨越的任务联系起来。然后，我们讨论了途径的建议，以开发必要的技术，以在接下来的十年中可靠地使用AI与UQ使用。
translated by 谷歌翻译
符号回归是一种机器学习技术，可以学习数据的管理公式，因此有可能改变科学发现。但是，符号回归仍然受到分析系统的复杂性和维度的限制。另一方面，深度学习改变了机器学习的能力，可以分析极其复杂和高维数据集。我们提出了一个神经网络体系结构，以将符号回归扩展到参数系统，其中某些系数可能会有所不同，但是基础管理方程的结构仍然恒定。我们演示了有关各种系数的各种分析表达式，ODE和PDE的方法，并表明它可以很好地推断出训练域之外。基于神经网络的体系结构还可以与其他深度学习体系结构集成，以便在端到端训练的同时分析高维数据。为此，我们将架构与卷积神经网络集成在一起，以分析不同弹簧系统的1D图像。
translated by 谷歌翻译